User-Agent: * Allow: / Aby zapobiec indeksowaniu witryny przez roboty w przyszłości, należy do pliku robots.txt dodać następującą dyrektywę: User-agent: * Disallow: /Aby usunąć witrynę tylko z wyszukiwarki Google i zapobiec indeksowaniu jej w przyszłości tylko przez Googlebota, użyj następującej dyrektywy: User-agent: Googlebot Disallow: / Każdy port musi mieć oddzielny plik robots.txt. W szczególności jeżeli serwer udostępnia treść zarówno za pośrednictwem protokołu HTTP, jak i HTTPS, dla każdego z nich jest potrzebny osobny plik robots.txt. Aby na przykład zezwolić Googlebotowi na indeksowanie wszystkich stron HTTP, ale nie stron HTTPS, można użyć poniższych dyrektyw pliku robots.txt. Dla protokołu http (http://twojserwer.pl/robots.txt): User-agent: * Allow: /Dla protokołu https (https://twojserwer.pl/robots.txt): User-agent: * Disallow: /